*7'1 



03CD 



torncy's Docket No.: 413-010437-US(PAR) PATENT 



IN THE UNITED STATES PATENT AND TRADEMARK OFFICE 

application of: .MANTYJARVI et al. Group No.: 

[No.: 09/892,000 

Filed: 6/26/01 Examiner: 

For: METHOD AND ARRANGEMENT FOR ENTERING DATA IN AN ELECTRONIC 

APPARATUS AND AN ELECTRONIC APPARATUS 



Commissioner of Patents and Trademarks 
Washington, D.C. 20231 

TRANSMITTAL OF CERTIFIED COPY 

Attached please find the certified copy of the foreign application from which priority is claimed for 
this case: 

Country : Finland 

Application Number : 20001535 
Filing Date : 28 June 2000 

WARNING: "When a document that is required by statiUQ Q bg'certified must be filed^t coj^yf including a 
photocopy or facsimile transmission of the certification i^ot^fcpeptable." 37 CFR 1 .4(p^emnJ<nsis added.) 



SIGNATURE OF ATTORNEY 
Reg. No.: 24,622 Clarence A. Green 



Type or print name of attorney 

Tel. No.: (203)259-1800 

Perman & Green, LLP 

Customer No.: 2512 P.O. Address 

425 Post Road. Fairfield, CT 06430 

NOTE: The claim to priority need be in no special form and may be made by the attoniey or agent if the foreign 
application is referred to in the oath or declaration as required by S 1 -63. 

CERTIFICATE OF MAILING/TRANSMISSION (37 CFR 1.8a) 

I hereby certify that this correspondence is, on the date shown below, being: 

MAILING FACSIMILE 



deposited with die United States Postal ^ transmitted by facsimile to the 

Service with sufficient postage as first class Patent and Trademark Office 
mail in an envelope addressed to the 
Commissioner of Patents and Trademarks, 

j I Signature \J 

Date: S/fffr/Q) j^QOftHtt (?Lj<HLlC 

I ' (type or print name of person certifying) 

(Transmittal of Certified Copy [5-4] 



PATEUTTI- JA REKIS'i^IHALLITUS 

NATIONAL BOARD OF PATENTS AND REGISTRATION 

Helsinki 14.6.2001- 




ETUOIKEUSTODISTUS 
PRIORITY DOCUMENT 




Hakija 
Applicant 



Patenttihakemus nro 
Patent application no 



Nokia Mobile Phones Ltd 
Espoo 



20001535 



Tekemispaiva 
Filing date , 



Kansainvaiinen luokka 
International class 



Keksinnon nimitys 
Title of invention 



28.06.2000 



G06F 



' " 



^Menetelma ja jarjestely tiedon sydttamiseksi elektroniseen 
lai t tiees een ja elektroninen laite" 



Taten^t-Qdrs^teta'an/V etta oheiset asiakirjat ovat tarkkoja jaljennoksia 
""'7 ( R?tentti--,ja ( reklsterihallitukselle alkuaan annetuista selityksesta, 
" \ ?r pa tent t i vaat imu'ks is t-a , tiivistelmasta ja piirustuksista . 



\ 



■ - TKis k -i's t to ' certify that the annexed documents are true copies of the 
} description^ claims,, abstract 1 and drawings originally filed with the 
/ J i ^Finnish Patent 1 Office: . : : . - 



5 i 



Markka Tehikoski 
Apulaistarkastaja 



Maksu 
Fee 



300,- 
300,- 



mk 
FIM 



CERTIFIED COPY OF 
PRIORITY DOCUMENT 



apunut : 28/ 6/ O 14:23; +36066566701 - >• PATREJ^ASIAKASHALVhLU ; axvu 

28-06-^000 14:26 MISTA^fclJN PATENTT I TO I Ml STO +35^^566701 - K-020 $.004 T-043 



Menetelma ja jarjestely tiedon syfittamiseksi elektrotiiseen laitteeseen ja 
elektroninen iaite 

5 Keksinnon kohteena on menetelma tietojen syottamiseksi runkonsa sisaila sijait- 
sevaan elektroniseen laitteeseen virtuaalinSppaimiston avulla, joka menetelma 
kasittaa infrapunasateilyn lahettamisen ainakin yhdella infrapunalahettimella 
ainakin yhdessa tasossa, esteen asettamisen infrapunalahettimen sateilykenttaan, 
esteesta heijastuneen inftapunasateilyn vastaanottamisen ainakin yhdella 

10 infrapunavastaanottimella ainakin yhdessa tasossa, vastaanotetun heijastuneen 
signaalin esikasittelyn ja esteen paikan maarittamisen vastaanotetua, esikasitellyn 
signaalin perusteella. Keksinnon kohteena on myos elektronisen laitteen 
syOttOjSrjestely edella mainitun virtuaalisen nappaimistfln toiminnan toteuttamiseksi 
seka syottojarjestelyyn kuuluva tuimistamisen suorittava ohjelma. 

15 

Erilaiset langattomasti toiraivat lairteet, kuten solukkopuhelimet ja 
kammentietokoneet, vaativat jonkinlaisen fyysisen kayttdliittyman, jotta niihin 
pystytaan sySttamMn tietoa tai kaskyja. Esimerkiksi tunnetaan pienikokoinen 
matkapuhelimen nappairaisto, jossa on nappaimet 1 - 9, *, 0 ja #, seka niista 
20 saatavat muut mahdolliset kiijainmerkit. Samoin tunnetaan solukkoverkoissa 
kaytetyn solukkopuhelimen ns. 'Tcommunikaattorin" nappaimistO, jossa on 
aakkosnumeeriset nappaimet a - z ja 1 - 0. Nama nappaimistot tehdaan niin pieniksi 
kuin vain mahdollista* minka vuoksi niita on suhteellisen hankala kayttaa verrattuna 
normaalin tietokoneen nappaimiston kayttQOn. 

25 

Tunnetaan myos erikokoisia kosketusnappaimistoja sahkfiisia laitteita varten. Nama 
nappaimistiit on tavallisesti jarjestetty kosketusnaytoksi nayttoruudulle* 
Nayttoruutua ymparoivaan kehykseen on tallBin jarjestetty esimerkiksi LED- 
lahetin-vastaanotin -rivistoja useammalle puolen nayttoruutua. Sormen tai muun 
30 esteen asettaminen tietylle kohtaa nayttoa katkaisee infrapunasateen ja saa aikaan 
jonkin halutun toiminnon. 

Patenttihakemuksesta FI 990676 tunnetaan myos menettely, jossa laitteen yhdelle 
sivulle on luotu useamman infrapuna-alueella toimivan lahetin-vastaanotinyksikOn 
35 avulla keinotekoinen virtuaalinen, kaksiulotteinen nappaimistojarjestely. Laitteen 
vaiittemaan laheisyyteen muodostetaan tailOin tietojen syottoalue, eraanlainen 
kaksiulotteinen virtuaalinappaimisto X - Y-tasoon. Juikaisun mukaisesti voidaan 
jollekin tasaiselle pinnalle muodostaa edullisesti kuva virtuaalinappaimistosta 



Saapunut: 2S/ B/ O 14:23; ^35885566701 - => PATREI^IAKASPALVELUi Si.vu 5 

28-06-2000 14:26 MISTA PATENTTITOIMI STO +358^*66701 - K-020 S.005 T-043 



laserdiodin ja taittavan optiikan avulla. Mainittu pinta, jolle vktuaalinappaimistd 
muodostetaan, on tavallisesti pSydan pinta. Infrapunalahettimien ja -vastaanottimien 
avulla ilmaistaan esteen/osoittiraen tai sormen tarkka sijainti jollakin tietylla 
kohdalla virtuaalinappaimistOn maaraamassa tasossa. Esitetylla laitteella ilmaistu 
5 esteen tarkka paikka villiiaalinappaimistossa maarittaa" joko jonkin tietyn toiminnon 
suorittamisen tai vastaa jonkin nappaimen painamista oikealla nappaimistolla. 

Kuvassa 1 on esitetty edella. mainitun laitteiston periaatteellinen rakenne paalta ja 
sivulta nahtyna. Virwaalinappaimistojarjestely kasittaa laitteen 10, jossa on naytte 

10 1 i ja virtuaalinappaimistS 13. Laitteisto 10 on asetertu esimerkiksi poydan pinnalle 
16. Laitteisto 10 ja sen virtuaaliMppaimisto 13 aktivoidaan. Tekstiruudukosta 
koostuva virtuaaliMppfiiniiste 13 projisoidaan laitteistosta 10 valolahteiden ja 
sopivan optiikan avulla pinnalle 16. On myos mahdollista kayttaa jotain tasomaista 
levya, jonka pinnalle on merkitty halutut nappairaien kohdat. Julkaisussa esitetty 

15 laitteisto 10 kasittaa kuvan 1 esimerkissa kuusi kappaletta infrapunalahetin- 
vastaanottiniia 12a - 12f. Talla jarjestelylla saadaan jokaiselle nappaimiston pysty- 
riville oma lahetin-vastaanotinyksikkonsa. Kutakin pystyrivia kohden lahetetaan 
kapea infrapunaisen valon sadel4a. Lahetetty valonsade 14a heijastuu esteesta 15, 
kuten sormesta tai kynan kaltaisesta osoittimesta takaisin laitteeseen 10. Heijastunut 

20 valonsade 14b vastaanotetaan yhdella* tai useammalla laitteeseen 10 kuuluvalla 
vastaanottimella 12a - 12f. 



Kuvan 1 esimerkissa virmaalinappaimisto on piirretty kasittamaan kirkkaita vaaka- 
ja pystysuuntaisia viivoja seka kirjaimia, numeroita ja mahdollisia erikoismerkkeja 

25 kuten esimerkiksi ja Viivat rajaavat yksittaisten nappainten alueet. 
Viituaalmappaimiston projisoimiseen kaytettava optinen tekniikka on entuudestaan 
tunnettua. Takaisin sironneen infrapunavalon intensiteetista, saapumiskulmasta tai 
signaalin vaihekulmasta on laskettavissa DSP-menetelmilla (Digital Signal 
Processing), missa kohtaa laitteen pohjatason kanssa samassa X - Y -tasossa olevan 

30 pinnan 16 pisteessS este 15 on. Ongelmana tassa jarjestelyssa on kuitenkin se, etta 
menettelyssa vastaanotettu signaali on luonteeltaan hyvin epalineaarinen, koska se 
heijastuu epasaannollisesta esteesta. Lisaksi ymparistosta saadaan satunnaisesti 
vaihtelevaa infrapunasateilya, joka edelleen lisaa vastaanotetun signaalin 
hairioisyytta. Taman johdosta vastaanottimeen heijastuneen/palanneen signaalin 

35 amplitudi- ja vaiheominaisuudet vaihtelevat suuresti muistakin syista kuin vain 
esteen paikasta riippuen. Esteen paikan laskennassa joudutaan taten kayttamaan 
erilaisia kokeellisesti saatuja taulukoituja korjauskertoimia. Niinpa vastaanotetun 
signaalin laskennallinen kasittely on vaikeaa ja vaatii suuren laskentatehon, jotta 
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esteen paikka saadaan halutulla tarkkuudella lasketuksi vastaanotetusta signaalista. 
Tassa tapauksessa esini. solukkopuhelimen prosessorin laskentateho ja laskentaan 
tarvittavan muistin koko muodostuvat ongelmiksi. Mikali halutaan viela tietaa 
esteen paikka kolmannessa ulottuvuudessa (X-, Y- ja Z-ulottuvuudet), tulee 
5 laskennasta erittain paljon tehoa ja muistia vaativa ratkaisu, jonka toteuttaminen 
perinteisilla DSP-menetelmilla pienessa kadessa pidettavassa laitteessa on vaikeaa. 

TSman keksinnon tavoitteena on esittaa uuden tyyppinen paatoksentekotnenettely ja 
jarjestely virtuaalista nSppainjarjestelya varten, joka ratkaisuna vaatii vahemman 
10 laskentakapasiteettia ja muistia kuin tekniikan tason mukaisella DSP~ratkaisuilla 
toteutettu jarjestely, Lisaksi taman keksinnon tavoitteena on mahdollistea 
kolmiulotteisen keinotekoisen nappaimi^ton/kaytteUittyman luominen. Menetelma 
ja jarjestely on edullisesti sovellettavissa tulevissa kolmannen polven 
sohikkoj arjestelmien paatelaitteissa. 

15 

Keksinnon tavoitteet saavutetaan jarjestelylla, jossa luodaan infrapuna-alueella 
toiraiva virtuaalinen kaksi- tai kolmiulotteinen nappaimist5jarjestely/kaytt5liittyma. 
Tasta virtuaalisesta nappaimistSsta saatava epalineaarinen ja moniulotteinen signaali 
kasitellaan hahraontuimistusmenetelmalla (engl. pattern recognition) toteutetulla 
20 jarjestelylla kuten esimerkiksi neuroverkkotekniikalla, joka on tehbkas 
epaiineaaristen signaalien kasittelyssa. 

Keksinnon mukaiselle virtuaalisessa nappaimistossa olevan esteen paikan tunnis- 
tusmenetelmaile on tunnusomaista, etta esteen paikan maarittamiseen ainakin 
25 yhdessa tasossa kaytetaan neuroverkkojarjestelya, johon esikasitelty signaali 
johdetaan paikan maarityksen suorittamista varten. 

Keksinnfin mukaiselle virtuaalisen nappaimiston syett5jarjestelyUe on tunnus- 
omaista, etta syottojarjestely kasittaa laitteen muistissa olevan hahmontunnistukseen 
30 kaytettavan neuroverkko-osan jonkin tietyn virtuaalinappaimiston painikkeen 
kayton tunnistamiseksi. 

Keksinnon mukaiselle virtuaalisen nappaimiston toiminnan tunnistuksen toteut- 
tavalle ohjelmalle on tunnusomaista, etta ohjelma kasittaa vaiheen syottosignaalien 
vastaanottamiseksi ainakin yhdessa neuroverkon piilotetun kerroksen neuronissa, 
35 vaiheen syottosignaalien painottamiseksi halutuilla painokertoimiila kussakin piilo- 
tetun kerroksen neuronissa, vaiheen painotettujen syottosignaalien summaamiseksi 
kussakin piilotetun kerroksen neuronissa lahtSsignaalin aikaansaamiseksi, vaiheen 
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lahtosignaalin kasittelemiseksi kunkin piilotetun kerroksen neuronin akti- 
vointielimessa tulossignaalin luomiseksi, vaiheen piilotetun kerroksen neuronien 
tulossignaalien kasittelemiseksi neuroverkon lahtosoluissa ja vaiheen neuroverkko- 
osan paattelyrutiinien tuloksien toteuttamiseksi. 

5 

KeksinnSn eraita edullisia suoritusmuotoja on esitetty epaitsenaisissa 
patenttivaatimuksissa. 

Keksinnon perusajatus on seuraava: Luodaan virtuaalinen nappairaisto 
10 infrapunalahetin-vastaanotinj arj estely Ila jonkin elektronisen laitteen viereen, joka 
eduIHsesti on solukkoverkon paatelaite. Luotuun infrapunakenttaan asetetaan este, 
osoitin, sormi tai vastaava, josta lshetetty infrapunavalo heijastuu takaisin. 
Heijastunut infrapunavalo vastaanotetaan yhdelia tai useammalla 
infrapunavastaanottimella. Seuraavaksi suoritetaan erikseen jokaisen vastaanotetun 
15 signaalin huippuarvon maaritys, taman jalkeen suoritetaan signaaleille A/D- 
muunnos (Analog to Digital conversion), jonka jalkeen alipaastSsuodatetaan 
jokaista vastaanotettua signaalia omalla digitaalisella suodattimellaan ja lopuksi 
johdetaan suodatetut signaalit hahmontunnistusmenettelyyn, joka on edullisesti 
neuroverkkoj arj estely. Hahmontunnistusjarj estely tekee saamiensa heratesignaalien 
20 (suodatetut infirapunavastaanottimien signaalit) perusteeUa paatoksen siita, mita 
virtuaalisen nappaimiston painiketta este osoittaa. 

Keksinnon etuna on, etta huolimatta vastaanotettujen signaalien epalinearisuuksista 
hahmontunnistuksessa kaytettava neuroverkkojarjestely tekee suurella xodennakoi- 
25 syydella oikean paatSksen verrattuna tekniikan tason mukaisilla DSP-laskentame- 
netelmilla tehtyihin paatoksiin. 

Lisaksi keksinnon etuna on, etta hahmontunnistuksessa kaytetyn neuroverkko- 
jarjestelyn paatelaitteessa vaatima laskentateho ja laitteessa vaadittavan muistin 
30 koko ovat pienia verrattuna tekniikan tason mukaisiin DSP-laskentamenetelmiin. 

Edelleen keksinnon etuna on, etta menetelma ei rajoitu ainoastaan kahta 
ulottuvuutta koskevaksi vaan siihen on liitettavissa myos paikannusmahdollisuus 
kolmannessa ulottuvuudessa. 

35 

Seuraavassa keksintoa selostetaan yksityiskohtaisesti. Selostuksessa viitataan 
oheisiin piirustuksiin, joissa 
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kuva 1 esittaa tekniikan tason mukaista virtuaalista nappaimistoa paalta ja 

sivulta nahtyna, 
kuva 2a esittaa esimerkinomaisesti yhta neuroverkon solua, 
kuva 2b esittaa esimerkinomaisesti neuroverkkoa, joka koostuu useammasta eri 

solusta, 

kuva 3 esittaa esimerkinomaisesti keksinnSn mukaisen laitteiston paaosia, 
kuva 4 esittaa esimerkinomaisesti mfrapunala^etm-vastaanotinjarjestelyii 
paaosia, 

kuva 5 esittaa esimerkinomaisesti signaalin esikasittelyn paaosia, 
kuva 6 esittaa esimerkinomaisesti keksinnbn mukaiseen jarjcstelyn neuroverkon 
paaosia, 

kuva 7 esittaa esimerkinomaisesti eraan keksinnBn mukaisen kolmiulotteisen 

virtuaalisen nappaimiston ja 
kuva 8 esittaa erasta keksinn5n mukaista solukkoradiojarjestelman paatelaitetta 

ja sen iiinymista solukkoradiojarjestelmaan. 



Kuva 1 on selitetty tekniikan tason kuvauksen yhteydessa. 



Kuvassa 2a on esimerkinomaisesti esitetty hahmontunnistuksessa kaytettyyn 
20 neuroverkkojarjestelyyn kuuluvan neuroverkon solun 20, jota jaljempana kutsutaan 
neuroniksi, periaatteelliset osat Yksittaiseen neuroniin syotetaan tietoa syottolin- 
jojen kautta. Kuvan 2a esimerkinomaisessa tilanteessa neuroniin syotetaan viiden 
heratesignaalin (X0, XI, X2, X3, X4) arvot, viite 21. Kukin heratesignaalin 21 
yksittaisista arvoista painotetaan heratesignaalia vastaavalla painokertoimella (WO, 
25 W1,W2, W3, W4), viite 22, ja nain painotetut heratesignaalien arvot lasketaan 
yhteen neuroniin kuuluvassa summaimessa 23. Summaimen 23 lahtQsignaali Y, 
viite 24, viedaan neuroniin kuuluvan aktivointielimen 25 tuloon. Kyseiseen akti- 
vointielimen tulon ja lahdon valinen yhteys maariteliaan funktiolla f(Y). Tama 
funktio f(Y) maaritellaan/valitaan tapauskohtaisesti ja se voi olla luonteeltaan joko 
30 lineaarinen tai epalineaarinen. Se, millainen aktivointielimen lahdOsta saatava tulos- 
signaali Z, viite 29, on arvoltaan, riippuu tietenkin neuroniin tulevista signaaleista 
21, kaytetyista painokertoimista 22 ja kaytetysta aktivointifunktiosta 25. Kun 
joUekin neuronille opetetaan jokin haluttu toimintamalli, niin tama tarkoittaa sita, 
etta opetuksen aikana maaritetaan tietyn neuronin painokertoimet 22 ja aktivointi- 
35 funktio 25, jolla tunnetulla heratesigoaalilla 21 saadaan haluttu tulossignaali 29. 



Kuvassa 2b on esimerkinomaisesti esitetty eras mahdollisuus rakentaa neuroverkko. 
Kuvan 2b csittama neuroverkko 200 on tyypiltaan ns. BP-verkko 
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(BackPropagation). Tallaisen neuroverkon opetuksessa pitaa tietaa seka neuro- 
verkkoon tuleva data etta neuroverkon paattelyn toivottu lopputulos. Naiden tietojen 
avulla voidaan BP-verkko opettaa suorittamaan haluttu toimintatapa/paattelyrutiini. 

5 Kuvan 2b esimerkmornainen neuroverkko kasittaa verkon heratesignaalit X0, XI ja 
X3, viite 21a, ns. piilotetun kerroksen 27 (engl. hidden layer) seka neuroverkon 
lahtosolut 28. Kuvan 2b esimerkissa piilotettu kerros 27 seka lahtosolut 28 
kasittavat kumpainenkin kolme neuroverkon neuronia 20a ja 20b. Kuvassa 2b ei ole 
esitetty heratesignaalien ja eri neuroverkon neuronien valisien yhteyksien/signaalien 
10 2 la ja 26a painotuksessa kaytettavia painotuskertoimia, jotta kuva olisi mahdolh- 
simman selkea. Kuvan 2b esittamassa esimerkissa voi olla tavoitteena opettaa 
neuroverkko antamaan tulossignaali Z0, jos heratesignaali on X0, tulossignaali Zl, 
jos heratesignaali on XI ja tulossignaali Z2 jos heratesignaali on X2. Luonnollisesti 
kaikki muutkin signaalikombinaatiot yksin ja kombinoituna toistensa kanssa ovat 
15 mahdollisia. Kuvan 2b esittaman piilotetun kerroksen lisaksi voi neuroverkossa olla 
useita muita perakkain tai rinnan kytkettyja piilotettuja kerroksia. Haluttu 
kayttOkohde maaraa sen, millaiseksi neuroverkon rakenne kaytannossa kannattaa 
rakentaa. 

20 Kuvassa 3 on esitetty esimerkinomaisesti keksinn6n mukaisen neuroverkkotek- 
niikalla toteutetun virtuaalinappaimiston toiminnalliset paaosat. Infrapunalahetin- 
vastaanotin 31. jaljempana lR-lahetin-vastaanotin, lahettaa ja vastaanottaa infrapu- 
nasateilya 30. Vastaanotetulle signaalille suoritetaan lohkossa 32 signaalin esikasit- 
tely. Kuvan 3 esimerkissa IR-lahetin-vastaanottimia 31 ja signaalin esikasittelyloh- 

25 koja 32 on yhta monta kuin laitteessa on kuvan 1 esimerkissa esrtettyja lahetin- 
vastaanottimia 12a - 12f. Luonnollisesti lahetin-vastaanottimien 12 maara ei ole 
rajoitettu kuvan 1 esittamaan kuuteen kappaleeseen. Lohkosta 32 esikasitellyt 
signaalit syOtetaan neuroverkko-osaan 33, josta saadaan ulos signaali 34, joka 
edullisesti edustaa jonkin tietyn virtuaalisen nappaimiston painikkeen painamista tai 

30 paatelaitteen haluttua toimintoa. 

Kuvassa 4 on esitetty esimerkinomaisesti kuvassa 3 esitetyn TJUahetin-vastaanotti- 
men 31a paaosat. Siihenkuuluu IR-sensoriosa 41, joka puolestaan kasittaa IR-lahet- 
timen 42 IR-sateen 30a lahettamiseksi. Samoin se kasittaa IR-vastaanottimen 41 
35 tulevan IR-sateen vastaanottamiseksi. Vastaanottimeen 41 kuluu edelleen vas- 
taanotetun signaalin huippuarvon pitopiiri 44, joka pitaa muistissaan halutun ajan 
vastaanotetun signaalin huippuarvoa, joka vaihtelee edullisesti valilla 0 - 3,5 V. 
Kyseinen analoginen signaalin huippuarvo 46 viedaan edelleen signaalin 
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esikasittelyyn. Lahettimen ja vastaanottimen ajastuksesta huolehtii oskillaattori 45, 
josta saadaan jarjestelyn tarvitsema kellosignaali 47 ja jota kaytetaan myos muuhun 
syottqj arjestelyn toiminnan ajastukseen. 

5 Kuvassa 5 on esimerkinomaisesti esitetty kuvan 3 mukaisen jarjestelyn signaalin 
esikasittelyosan 32a paaosat. Vastaanotetun signaalin huippuarvo 46 seka kellosig- 
naali 47 saadaan IR-lahetin-vastaanottimesta 31a. Tama huippuarvo 46 pitaa sisal- 
laan halutun hy6tysiguaann lisaksi erilaisia hairioita. Naista yksi on ymparistosta 
tuleva taustasateily, jonka vaikutuksen vahentamiseksi esikasittelyosaan 32a kuluu 

10 taustasatetlyn korjauspiiri 53. Kellosignaali 47 johdetaan liipaisupiirille 52. Liipai- 
supiiri ohjaa puolestaan naytxeenottoa signaalista ja naytteenoton jalkeisen A/D- 
muunnospiirin 51 toimintaa. A/D-muvmtimelta saadaan digitaalimuodossa oleva 
naytejono vastaanotetusta signaalista, joka johdetaan digitaaliseen aUpaastosuodatti- 
meen 52. Alipaastosuodattimen ylarajataajuus on edullisesti 5 - 20 Hz. Digitaalinen 

15 suodatin voidaan toteuttaa joko UR-tekniikalla (Indefinite Impulse Response) tai 
FIR-tekniikalla (Finite Impulse Response). Aiipaastosuodatettu signaali 53 
johdetaan neuroverkoon paatoksentekokasittelya varten. Kyseisia signaaleita 53 on 
edullisesti sama maara kuin on varsinaisia Jjt4ahetm-vastaanotmyksikk6jakin 
keksinnOn mukaisessa laitteessa. 

20 

Kuvassa 6 on esimerkinomaisesti esitetty eras edullinen suoritusmuoto, jolla voi- 
daan toteuttaa kuvassa 3 esitetty neuroverkko-osa 33. Neuroverkko-osaan 33 kuuluu 
signaalien sy6ttoosa 61, johon syotetaan kaikki signaalin esikasittelyosien 32 muok- 
kaamat heratesignaalit 53. Naita heratesignaaleita on edullisesti sama maara kuin 
25 keksinnon mukaisessa laitteistossa on IR-lah^n-vastaanottmiia. Varsinainen 
neuroverkko-osa 33 kasittaa N kappaletta eriliisia neuroverkkoja 62. N on suuruu- 
deltaan edullisesti suurempi kuin laitteiston sisaltamien TjL4ahetin-vastaanottiniien 
maara. Edullisesti N on ainakin yhta suuri kuin on halutun virtuaalisen nappaimiston 
sisaltamien erillisten riappairmen/toimintojen lukumaara. Neuroverkko-osa 33 tekee 
30 sille opetettujen paattelysaantojen perusteella laitteeseen saapuneista 
heratesignaaleista 30b paatelman, etta tiettya virtuaalmappaimistOn painiketta Zm 
on painettu. Luvun m arvo tassa esimerkissa on valilla 1 - N. Esimerkin mukainen 
neuroverkkotekniikalla toteutettu paattelyjarjestelma vaatii toimiakseen muistia 10 
- 50 kB s joten se on toteutettavissa solukkopuhelimen muistissa. 

35 

Kuvassa 7 on esitetty esimerkinomaisesti eras keksinnon mukainen suoritusmuoto, 
joka mahdollistaa kohteen 3D-paikannuksen edella kuvatun 2D-paikannuksen 
lisaksi. Kuvan 7 esimerkinomaisessa tilanteessa on kyseessa ns. laptop-tietone 70. 
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Se kSsittaa laitteen runko-osan 71, jonka eraalia pinnalla on varsinainen nappainosa 
74. Laitteen kansiosaan 72 kuluu varsinainen nayttfi 76. Keksinnon mukaisesti on 
seka runko-osaan 71 etta kansiosaan 72 kiinnitetty ER-lahetin-vastaanoltimia 73a ja 
73b. Nyt nama IR-lahetin-vastaanottimet 73a ja 73b muodostavat kuvan 7 

5 esimerkinomaisessa tilanteessa 3-ulotteisen verkon varsinaisen nappaimiston 74 
ylapuolelle. Taman 3-ulotteisen verkon antamat signaalit kasitellaan kahdella 2- 
ulotteisen signaalin kasittelyyn tarkoitetulla keksinnon mukaisella heuroverkolla. 
Kun jokin keinotekoinen este kuten sormi, kyna tai osoitin tuodaan nappaimiston 74 
ylapuolelle, tunnistavat seka runko-osan 74 etta kansiosan 72 IR-vastaanottimet sen 

10 paikan. Kun viela tiedetaan runko-osan 71 ja kansiosan 72 valinen kulma <B 75, 
voidaan laskennallisesti naista kahdesta 2-ulottuvuudessa suoritetusta mittauksesta 
tehda paatos esteen paikasta/muodosta kolmiulotteisesti. Tainan suoritusmuodon 
mukaista jSrjestelya voidaan edullisesti hyfidyntaa halutun kohteen 3D-manipuloin- 
nissa laitteen varsinaisella naytSlla 76. Taten keksinnon mukaista 3-ulotteista 

15 hahmontunnistusjarjestelya voidaan kayttaa erilaisten nappaimiston tai PC:n hiiren 
avulla tehtyjen kaskyjen sijasta. 

Keksinnon mukainen virtuaalinen nappainjarjestely voidaan luoda myos erillisella 
lisaiaitteella niin 2-ulotteisena kuin 3-ulotteisenakin suoritusmuotona. Tama lisalaite 
20 on yhteydessa vatsinaiseen paatelaitteeseen joko langallisen tai langattoman 
yhteyden avulla. 

Edelia on kuvattu keksinnon mukaisen virtuaalisen nappaimiston toimimista lahinna 
fyysisen nappaimiston korvikkeena. KeksinnSn mukainen neuroverkolla toteutettu 

25 hahmontunnistusjarjestelma on kyllin tehokas toimimaan mySs liikkuvan keinote- 
koisen esteen paikan maarittamisessa. Niinpa keksinn5n mukaista menettelya sovel- 
tamalla voidaan edullisesti korvata ns. hiiren tai erilaisten vieritysnappaimien kaytte 
2D-jarjestelmien nayton ohjauksessa tai kaskyjen annossa. Kun keksintoa sovelle- 
taan 3D-laitteeseen voidaan keinotekoisen esteen Iiikkeella tai liikkeen pysahtymi- 

30 sella saada aikaan monipuolisia toimintoja. Erityisesti 3D-kuvantamisessa keksin- 
nolla voidaan naytolla olevaa kappaletta edullisesti kaantaa, muuttaa sen muotoa tai 
esimerkiksi varittaa sita. Keinotekoista estetta on ray5skin mahdollisuus kayttaa 
kolmiulotteisen kappaleen 3D-piirrosvalineena. KeksinnBn mukainen jarjestely 
pystyy tunnistamaan yhta aikaa myos useampia virtuaalinappaimistOssa olevia 

35 keinotekoisia esteitaja seuraamaan niiden liikkeita. 

Kuva 8 esittaa yksinkertaistettuna lohkokaaviona er&sta solukkojarjestelman paate- 
laitetta 800, jossa voidaan hyodyntaa keksinnon mukaista virtuaalista nappaimistoa. 
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Paatelaite kasittaa antennin 801 tukiasemien lahettamien radiotaajuisten signaalien 
eli RF-signaalien vastaanottamiseksi. Vastaanotettu RF-signaali ohjataan kytkimella 
802 RF-vastaanottimeen 806, jossa signaali vahvistetaan ja muunnetaan 
digitaaliseksi. Tainan jalkeen signaali ilmaistaan ja demoduloidaan lohkossa 807. 

5 Lohkossa 808 suoritetaan salauksen ja lomituksen purku. Taman jalkeen suoritetaan 
signaalinkasittely lohkossa 809. Vastaanotettu data voidaan sellaisenaan tallentaa 
matkaviestimen nroistiin 804 tai vaihtoehtoisesti kasitelty pakettidata siirretaan 
signaalinkasittelyn jalkeen mahdolliseen ulkoiseen laitteeseen, kuten tietokonee- 
seen. Ohjausyksikko 803 suorittaa em. vastaanottolohkojen ohjauksen yksikkoon 

1 0 tallennetun ohjelman tnukaisesti. 

LShetystoiminto matkaviestimesta tapahtuu esim. seuraavasti. Ohjausyksikon 803 
ohjaamana lohko 811 suorittaa datalle mahdollisen signaalinkasittelyn ja lohko 812 
suorittaa kasitellylle, siitrettavalie signaalille lomituksen ja salauksen. Koodatusta 
15 datasta muodostetaan purskeet, lohko 813, jotka moduloidaan ja vahvistetaan 
lahetettavaksi RF-signaaliksi lohkossa 814. Lahetettava RF-signaali siirretaan 
antenniin 801 kytkimen 802 valityksella. Myos edella mainittuja kasittely- ja 
lalietystoimintoja ohjaa ohjausyksikko 803. 

20 Kuvan 8 esittamassa paatelaitteessa keksinnoo kannalta oleellisia osia ovat mm. 
sinansa tekniikan tason mukaiset ohjausyksikko 803 ja paatelaitteen muisti 804. 
Taman lisaksi tarvitaan paatelaitteessa keksinnon mukainen IR-lahetui-vastaanotin- 
yksikko 805 virtuaalinappaimiston 815 aikaansaamiseksi. Ohjausyksikko 803 ohjaa 
keksinnon mukaisen virtuaalmappaimiston toimintaa ja kayttoa. Paatelaitteen 

25 muistista 804 osa on allokoitava keksinnon mukaisen virtuaalisen nappaimist&i 
toiminnan tarvitseman neuroverkon luomiseen. Samaan tarkoitukseen voidaan 
luonnollisesti kayttaa paatelaitteeseen liittyvaa iirotettavaa muistivalinetta, kuten 
sinMnsa tunnettua SEM-korttia. 

30 Edella on kuvattu eraita keksinnOn mukaisia edullisia suoritusmuotoja. Keksinto ei 
rajoitu juuri kuvattuihin ratkaisuihin. Keksinnollista ajatusta voidaan soveltaa 
lukuisilla tavoilla patenttivaatimusten asettamissa rajoissa. 
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Patenttivaatimukset 



) 



5 



1. Menetelma tietojen syottamiseksi runkonsa sisalla sijaitsevaan elektroniseen 
laitteeseen(10,70)Jokamenetelmakasittaa 

- mfrapunasateHyn lahettamisen (14a) ainakin yhdella infrapunalahettimella (12) 
ainakin yhdessa tasossa, 

- esteen (IS) asettamisen infrapunalahettimen sateilykenttaan, 

- esteesta heijastuneen mfrapuoasateilyn (14b) vastaanottamisen ainakin yhdella 
infiapunavastaanottimella (12) ainakin yhdessa tasossa, 

- vastaanotetun heijastuneen signaalin esikasittelyn (32) ja 

- esteen (10) paikan maarittamisen vastaanotetun, esikasiteUyn signaalin perusteella, 
tunnettu siita, etta esteen paikan maarittamiseen ainakin yhdessa tasossa kaytetaan 
neuroverkkojarjestelya (33), johon esikasitelty signaali (53) johdetaan paikan 
maarityksen suorittamista varten. 

2. Patenttivaatimuksen 1 mukainen menetelma, tunnettu siita, etta neuroverkko- 
jarjestelyna (33) kaytetaan BP-verkkoa. 

3. Patenttivaatimuksen 1 mukainen menetelma, tunnettu siita, etta signaalin 
esikasittelyssa (32) otetaan analoginen nayte (46) vastaanotetusta signaalista (30b), 
otettu analoginen nayte muunnetaan A/D-muuntimella digitaaliseen muotoon (51), 
muodostetaan perakkaisista digitaalisista naytteista naytejono ja tama digitaalmen 
naytejono alipaastosuodatetaan digitaalisella suodattimella (52). 

4 Patenttivaatimuksen 1 mukainen menetelma, tunnettu siita, etta urirapunasa- 
teilya vastaanotetaan kahdella toisiaan vasten tunnetussa kulrnassa (75) olevalla 
infrapunavastaanotinjarjestelylla (73a, 73b) kolmiulotteisen esteen (15) paikan 
tunnistamisen suorittamiseksi. 

5 Patenttivaatimuksen 1 mukainen menetelma, tunnettu siita, etta infrapunasa- 
teilya vastaanotetaan kahdella toisiaan vasten tunnetussa kulrnassa (75) olevalla 
infrapunavastaanotinjarjestelylla (73a, 73b) kolmiulotteisen esteen (15) lukkeen 
tunnistamisen suorittamiseksi. 

6 Syottojatjestely tiedon syOttamiseksi paaasiallisen runkonsa sisalla sijaitsevaan 
elektroniseen laitteeseen (10, 70), joka j&rjestely kasittaa valineet (12, 31, 32) 
laitteen paaasiallisen rungon ulkopaolella sijaitsevalle syottoalueelle luodun ainakin 
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yhden rivin vittuaalisia nappaimia sisaltavan virtuaaliseen nappaimiston (13) 
luomiseksi ja kayttamiseksi, tunnettu siita, etta mainitut valineet kasittavat laitteen 
muistissa olevan hahmontunnistukseen kaytettavan neuroverkko-osan (33) jonkin 
tietyn virtuaalinappaimiston painikkeen kayton tuimistamiseksi (15). 

5 7. Patenttivaatimuksen 6 mukainen syottojarjestely, tunnettu siita, etta valineet 
virtuaalisen nappaimiston (13) luomiseksi kasittavat IR-iahetin-vastaanotin- 
jSrjestelyn (31, 31a), joka kasittaa infiaputialahettimeii (12, 42) infrapunasateilyn 
(14a, 30a) sateilemiseksi tiedonsyottoalueelle (13) ja mfrapunavastaanottimen (43, 
44) esteesta (10) heijastuneen infrapunasateilyn (14b, 30b) mittaamiseksi. 

10 8. Patenttivaatimuksen 7 mukainen syottojarjestely, tunnettu siita, etta 
mfrapunavastaanottirneen (43) kuluu huippuarvon pitopiiri (44). 

9. Patenttivaatimuksen 7 mukainen syottojarjestely, tunnettu siita, etta IR- 
lahetin-vastaanotinjarjestelyyn (31, 31a) kuuluu oskUlaattori (45) syottojarjestelyn 
tarvitseman kellotaajuuden (47) luomiseksi. 

15 10. Patenttivaatimuksen 6 mukainen syottojarjestely, tunnettu siita, etta jarjestely 
kasittaa lisaksi signaalin esikasittelyosan (32, 32a) analogisen signaalin (30, 30b) 
muuttamiseksi digitaaliseen muotoon (51). 

11. Patenttivaatimuksen 10 mukainen syottojarjestely, tunnettu siita, etta signaa- 
lin esikasittelyosaan (32a) kuuluu taustasateilyn korjauspiiri (53), naytteenottopiiri 

20 ja A/D-muuruiin (51) seka alipaastosuodatin (52). 

12. Patenttivaatimuksen 11 mukainen syottojarjestely, tunnettu siita, etta 
alipaastSsuodattimen (52) ylarajataajuus on hiokkaa 5-20 H2. 

13. Patenttivaatimuksen 11 mukainen syottojarjestely, tunnettu siita, etta 
alipaastosuodatin (52) on tyypilta&n IIR-suodatin. 

25 14. Patenttivaatimuksen 11 mukainen syottojarjestely, tunnettu siita, etta 
alipaastosuodatin (52) on tyypiltaan FIR-suodatin. 

15. Patenttivaatimuksen 6 mukaisen syottojarjestelyn neuroverkko-osa (33), 
tunnettu siita, etta mainittu neuroverkko-osa kasittaa signaalien syottoosan (61) ja 
ainakin yhden neuroverkon (62). 

30 16. Patenttivaatimuksen 15 mukaiseen syottojarjestelyyn kuuluva neuroverkko 
(62), tunnettu siita, etta neuroverkko on rakenteeltaan BP-verkko (200). 
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17. Patenttivaatimuksen 16 mukainen sySttojarjestery, tunnettu siita, etta BP- 
verkko (200) kasittaa ainakin yhden heratesignaalin syottolinjan (21a) liedon 
syottamiseksi ainakin yhtcen piilotetun kerroksen (27) neuroneista (20a), ainakin 
yhden piilotetun kerroksen (27), ainakin yhden yhteyden piilotetun kerroksen 

5 neuroneista neuroverkon laht5soluihin (28) seka ainakin yhden neuroverkon 
lahtosolun (20b) neuroverkon tekeman paatoksen ilmaisemiseksi. 

18. Patenttivaatimuksen 6 mukainen syottojarjestely, tunnettu siita, etta 
syottojarjestely (70) kasittaa kaksi toistensa suhteen tunnetussa kulmassa (75) 
olevaa syottojarjestely a kolmiulotteisen virtuaalisen kayttoliittyman luoraiseksi. 

10 19. Patenttivaatimuksen 6 mukainen syottojarjestely, tunnettu siita, etta mainittu 
elektroninen laite (10, 70) on solukkopuhelin. 

20. Ohjelma virtuaaliseen nappairnistoon kuuluvassa neuroverkko-osassa (33) 
virtuaaliseen nappaimistOQn asetetun esteen paikan tunnistamiseksi, tunnettu siita, 
etta ohjelma kasittaa 

15 - vaiheen heratesignaalien (21, 53) vastaanottamiseksi ainakin yhdessa piilotetun 
kerroksen (27) neuronissa, 

- vaiheen heratesignaalien painottamiseksi halutuilla painokertoimilla (22) kussakin 
piilotetun kerroksen neuronissa, 

- vaiheen painotettujen heratesignaalien summaamiseksi (23) kussakin piilotetun 
20 kerroksen neuronissa lahtosignaalin (24) aikaansaamiseksi, 

- vaiheen lahtosignaalin (24) kasittelemiseksi kunkin piilotetun kerroksen neuronin 
aktivointielimessa (25) tulossignaalin (26) luomiseksi, 

- vaiheen piilotetun kerroksen neuronien tulossignaalien (26a) kasittelemiseksi 
lahtdsoluissa(20b)ja 

25 - vaiheen neuroverkko-osan paattelyrutiinien tuloksien (29) toteuttamiseksi. 

21. Patenttivaatimuksen 20 mukainen neuroverkko-ohjelma, tunnettu siita, etta 
ohjelma on tallennettu elektronisen laitteen muistiin virtuaalinappSimiston 
toteuttamiseksi. 

30 

22. Patenttivaatimuksen 21 mukainen neuroverkko-ohjelma, tunnettu siita, etta 
elektroninen laite on solukkoverkon paatelaite. 



23 . Solukkoverkon paatelaite, j oka kasittaa 
35 - valineet signaalien vastaanottamiseksi (801, 802, 806, 807, 808,809), 
- valmeet signaalien lahcttarniseksi (811, 812, 813, 814, 802, 801), 
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- valineet paatelaitteen toiminnan ohjaamiseksi (803), 

- muistin (804) ohjelmien tallentamiseksi 

. iR-lalietin-vastaanottimen (805) virtuaalisen nappaimistSn (13) luomiseksi, 
tunnettu siita, etta laite (800) lisaksi kasittaa paatelaitteen (800) muistiin (804) 
5 tallennetun neuroverkko-ohjelman virtuaalisen nSppaimistttn toiminnan 
paattelyrutiinien suorittaxniseksi. 

24. Patenttivaatimuksen 23 mukainen paatelaite (800), tunnettu siita, etta se on 
solukkopuhelin. 
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(57) Tiivistelma 

Keksinnon kohteena on menetelma ja jarjestely virtuaalisen 
nappaimiston luomiseksi solukko-verkossa kaytettavalle 
paatelaitteelle (800). Virtuaalinappaimisto luodaan IR- 
Iahetin-vastaanotinj arj estelylla (12). jossa IR-lahettlmien 
kenttaan asetetusta esteesta (15) tapahtuva heijastus 
rekisteroidaan erillisilla IR-vastaanottimilla. Vastaanotettu 
tieto heijastuksesta kasitellaan neuro-verkkojarjestelylla 
(33). Tietojen kasittelyn tarkoi-tuksena on saada setville, 
mita virtuaalisen nappaimen paikkaa/toimintoa vastaan- 
otettu heijastustieto vastaa. 



Kuva 1 
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Fig. 4 
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Fig. 5 
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Fig. 7 
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